Knowledge Distillation (KD) transfers the knowledge from a high-capacity teacher model to promote a smaller student model. Existing efforts guide the distillation by matching their prediction logits, feature embedding, etc., while leaving how to efficiently utilize them in junction less explored. In this paper, we propose Hint-dynamic Knowledge Distillation, dubbed HKD, which excavates the knowledge from the teacher' s hints in a dynamic scheme. The guidance effect from the knowledge hints usually varies in different instances and learning stages, which motivates us to customize a specific hint-learning manner for each instance adaptively. Specifically, a meta-weight network is introduced to generate the instance-wise weight coefficients about knowledge hints in the perception of the dynamical learning progress of the student model. We further present a weight ensembling strategy to eliminate the potential bias of coefficient estimation by exploiting the historical statics. Experiments on standard benchmarks of CIFAR-100 and Tiny-ImageNet manifest that the proposed HKD well boost the effect of knowledge distillation tasks.
translated by 谷歌翻译
深度监督或称为“中间监督”或“辅助监督”是在神经网络的隐藏层上增加监督。最近，该技术越来越多地应用于深层神经网络学习系统中，以用于各种计算机视觉应用。人们达成共识，即深层监督有助于通过减轻梯度消失的问题来改善神经网络的性能，这是深层监督的众多优势之一。此外，在不同的计算机视觉应用程序中，可以以不同的方式应用深度监督。如何最大程度地利用深度监督来改善不同应用程序中的网络性能。在本文中，我们对理论和应用程序中的深入监督进行了全面的深入审查。我们建议对不同深度监督网络进行新的分类，并讨论计算机视觉应用程序中当前深层监督网络的优势和局限性。
translated by 谷歌翻译
图像BERT使用掩盖图像建模（MIM）预训练成为应对自我监督的表示学习的一种流行实践。一项开创性的作品将MIM作为一个视觉词汇作为分类任务，将连续的视觉信号用于离散的视觉令牌，并使用预先学习的DVAE将其标记为离散的视觉令牌。尽管有可行的解决方案，但不当离散化仍阻碍了图像预训练的进一步改善。由于图像离散化没有基本真相的答案，因此我们认为，即使可以获得更好的``令牌'''，也不应使用唯一的令牌ID分配蒙面的补丁。在这项工作中，我们引入了改进的BERT风格图像预训练方法，即MC-BEIT，该方法执行MIM代理任务，以放松和精致的多选择培训目标。 Specifically, the multi-choice supervision for the masked image patches is formed by the soft probability vectors of the discrete token ids, which are predicted by the off-the-shelf image ``tokenizer'' and further refined by high-level inter-补丁感知诉诸于观察到类似的补丁应该分享其选择。关于分类，分割和检测任务的广泛实验证明了我们方法的优势，例如，预先培训的VIT-B在Imagenet-1K分类上达到了84.1％的TOP-1微调精度，49.2％AP^B和44.0％对象检测和可可的实例分割的AP^m，在ADE20K语义分段上为50.8％，表现优于竞争性对应物。该代码将在https://github.com/lixiaotong97/mc-beit上找到。
translated by 谷歌翻译
The DETR object detection approach applies the transformer encoder and decoder architecture to detect objects and achieves promising performance. In this paper, we present a simple approach to address the main problem of DETR, the slow convergence, by using representation learning technique. In this approach, we detect an object bounding box as a pair of keypoints, the top-left corner and the center, using two decoders. By detecting objects as paired keypoints, the model builds up a joint classification and pair association on the output queries from two decoders. For the pair association we propose utilizing contrastive self-supervised learning algorithm without requiring specialized architecture. Experimental results on MS COCO dataset show that Pair DETR can converge at least 10x faster than original DETR and 1.5x faster than Conditional DETR during training, while having consistently higher Average Precision scores.
translated by 谷歌翻译
透明对象对视觉感知系统提出了多个不同的挑战。首先，他们缺乏区分视觉特征使透明对象比不透明的对象更难检测和本地化。即使人类也发现某些透明的表面几乎没有镜面反射或折射，例如玻璃门，难以感知。第二个挑战是，通常用于不透明对象感知的常见深度传感器由于其独特的反射特性而无法对透明对象进行准确的深度测量。由于这些挑战，我们观察到，同一类别（例如杯子）内的透明对象实例看起来与彼此相似，而不是同一类别的普通不透明对象。鉴于此观察结果，本文着手探讨类别级透明对象姿势估计的可能性，而不是实例级姿势估计。我们提出了TransNet，这是一种两阶段的管道，该管道学会使用局部深度完成和表面正常估计来估计类别级别的透明对象姿势。在最近的大规模透明对象数据集中，根据姿势估计精度评估了TransNet，并将其与最先进的类别级别姿势估计方法进行了比较。该比较的结果表明，TransNet可以提高透明对象的姿势估计准确性，并从随附的消融研究中提高了关键发现，这表明未来的方向改善了绩效。
translated by 谷歌翻译
快速移动受试者的运动模糊是摄影中的一个长期问题，由于收集效率有限，尤其是在弱光条件下，在手机上非常常见。尽管近年来我们目睹了图像脱毛的巨大进展，但大多数方法都需要显着的计算能力，并且在处理高分辨率照片的情况下具有严重的局部动作。为此，我们根据手机的双摄像头融合技术开发了一种新颖的面部脱毛系统。该系统检测到主题运动以动态启用参考摄像头，例如，最近在高级手机上通常可用的Ultrawide Angle摄像机，并捕获带有更快快门设置的辅助照片。虽然主镜头是低噪音但模糊的，但参考镜头却很锋利，但嘈杂。我们学习ML模型，以对齐和融合这两张镜头，并在没有运动模糊的情况下输出清晰的照片。我们的算法在Google Pixel 6上有效运行，每次拍摄需要463毫秒的开销。我们的实验证明了系统对替代单片，多帧，面部特异性和视频脱张算法以及商业产品的优势和鲁棒性。据我们所知，我们的工作是第一个用于面部运动脱毛的移动解决方案，在各种运动和照明条件下，在数千个图像中可靠地工作。
translated by 谷歌翻译
与单个决策树相比，Tree Ensemble（TE）模型（例如，增强的树木和随机森林）通常提供更高的预测性能。但是，由于人类难以理解其决策逻辑，因此TE模型通常缺乏透明度和可解释性。本文提出了一种新颖的方法，可以将经过训练的二进制分类任务的TE转换为规则列表（RL），该规则列表（RL）等同于TE，对于人类来说是可理解的。该RL捕获了TE决策的所有必要条件。基准数据集上的实验表明，与最先进的方法相比，（i）TE2RULES生成的RL的预测相对于原始TE具有很高的保真度，（ii）TE2RULES的RL具有高的解释性，由高可解释性衡量。决策规则的数量和长度，（iii）TE2RULES算法的运行时间可以大大减少，以稍低的保真度，（iv）RL是最新的替代品的快速替代 - 基于ART规则的实例级结果解释技术。
translated by 谷歌翻译
2022-06-17
从语言灵活性和组成性中受益，人类自然打算使用语言来指挥体现的代理，以进行复杂的任务，例如导航和对象操纵。在这项工作中，我们旨在填补最后一英里的体现代理的空白 - 通过遵循人类的指导，例如，“将红杯子移到盒子旁边，同时将其保持直立。”为此，我们介绍了一个自动操纵求解器（AMSolver）模拟器，并基于IT构建视觉和语言操纵基准（VLMBENCH），其中包含有关机器人操纵任务的各种语言说明。具体而言，创建基于模块化规则的任务模板是为了自动生成具有语言指令的机器人演示，包括各种对象形状和外观，动作类型和运动约束。我们还开发了一个基于关键点的模型6D-Cliport，以处理多视图观察和语言输入，并输出一个6个自由度（DOF）动作的顺序。我们希望新的模拟器和基准将促进对语言引导机器人操纵的未来研究。
translated by 谷歌翻译
透明的物体在家庭环境中无处不在，并且对视觉传感和感知系统构成了不同的挑战。透明物体的光学特性使常规的3D传感器仅对物体深度和姿势估计不可靠。这些挑战是由重点关注现实世界中透明对象的大规模RGB深度数据集突出了这些挑战。在这项工作中，我们为名为ClearPose的大规模现实世界RGB深度透明对象数据集提供了一个用于分割，场景级深度完成和以对象为中心的姿势估计任务的基准数据集。 ClearPose数据集包含超过350K标记的现实世界RGB深度框架和5M实例注释，涵盖了63个家用对象。该数据集包括在各种照明和遮挡条件下在日常生活中常用的对象类别，以及具有挑战性的测试场景，例如不透明或半透明物体的遮挡病例，非平面取向，液体的存在等。 - 艺术深度完成和对象构成清晰度上的深神经网络。数据集和基准源代码可在https://github.com/opipari/clearpose上获得。
translated by 谷歌翻译
视觉感知任务通常需要大量的标记数据，包括3D姿势和图像空间分割掩码。创建此类培训数据集的过程可能很难或耗时，可以扩展到一般使用的功效。考虑对刚性对象的姿势估计的任务。在大型公共数据集中接受培训时，基于神经网络的深层方法表现出良好的性能。但是，将这些网络调整为其他新颖对象，或针对不同环境的现有模型进行微调，需要大量的时间投资才能产生新标记的实例。为此，我们提出了ProgressLabeller作为一种方法，以更有效地以可扩展的方式从彩色图像序列中生成大量的6D姿势训练数据。 ProgressLabeller还旨在支持透明或半透明的对象，以深度密集重建的先前方法将失败。我们通过快速创建一个超过1M样品的数据集来证明ProgressLabeller的有效性，我们将其微调一个最先进的姿势估计网络，以显着提高下游机器人的抓地力。 ProgressLabeller是https://github.com/huijiezh/progresslabeller的开放源代码。
translated by 谷歌翻译